本发明的图像处理装置具有:第1特征量计算部,其按照对活体组织进行摄像而得到的图像的各像素,计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第1特征量;第2特征量计算部,其按照图像的各像素,计算表示局部区域中的梯度方向的分布状态的第2特征量;评价值计算部,其根据第1特征量和第2特征量的计算结果,按照各像素计算能够判别图像中包含的规定形状的构造的形状评价值;以及区域提取部,其根据形状评价值的计算结果,从图像中提取被估计为存在规定形状的构造的候选区域。
1.一种图像处理装置,其特征在于,该图像处理装置具有:第1特征量计算部,其按照对活体组织进行摄像而得到的图像的各像素,计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第1特征量;第2特征量计算部,其按照所述图像的各像素,计算表示所述局部区域中的梯度方向的分布状态的第2特征量;评价值计算部,其根据所述第1特征量和所述第2特征量的计算结果,按照所述图像的各像素计算能够判别所述图像中包含的规定形状的构造的形状评价值;以及区域提取部,其根据所述形状评价值的计算结果,从所述图像中提取被估计为存在所述规定形状的构造的候选区域。
2.根据权利要求1所述的图像处理装置,其特征在于,所述形状评价值被计算为能够分别判别所述图像中包含的线状构造和块状构造的值,所述区域提取部根据所述形状评价值的计算结果,从所述图像中单独提取被估计为存在所述线状构造的所述候选区域和被估计为存在所述块状构造的所述候选区域。
3.根据权利要求1所述的图像处理装置,其特征在于,根据通过使用了海赛矩阵的运算而得到的固有值,计算所述第1特征量。
4.根据权利要求1所述的图像处理装置,其特征在于,所述第2特征量被计算为所述局部区域中的梯度方向的集中度。
5.一种图像处理方法,其特征在于,该图像处理方法具有以下步骤:第1特征量计算步骤,按照对活体组织进行摄像而得到的图像的各像素,计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第1特征量;第2特征量计算步骤,按照所述图像的各像素,计算表示所述局部区域中的梯度方向的分布状态的第2特征量;评价值计算步骤,根据所述第1特征量和所述第2特征量的计算结果,按照所述图像的各像素计算能够判别所述图像中包含的规定形状的构造的形状评价值;以及区域提取步骤,根据所述形状评价值的计算结果,从所述图像中提取被估计为存在所述规定形状的构造的候选区域。
6.根据权利要求5所述的图像处理方法,其特征在于,所述形状评价值被计算为能够分别判别所述图像中包含的线状构造和块状构造的值,在所述区域提取步骤中,根据所述形状评价值的计算结果,从所述图像中单独提取被估计为存在所述线状构造的所述候选区域和被估计为存在所述块状构造的所述候选区域。
7.根据权利要求5所述的图像处理方法,其特征在于,根据通过使用了海赛矩阵的运算而得到的固有值,计算所述第1特征量。
8.根据权利要求5所述的图像处理方法,其特征在于,所述第2特征量被计算为所述局部区域中的梯度方向的集中度。技术领域
本发明涉及图像处理装置和图像处理方法,特别涉及在活体组织的诊断等中使用的图像处理装置和图像处理方法。
背景技术
以支援确定通过内窥镜等对体腔内的活体组织进行摄像而得到的图像中的病变部位(异常部位)为目的,近年来,与从该图像中检测活体粘膜下的血管行走图案和(或)上皮组织的规定构造等的图像处理有关的研究正在发展。例如,在Alejandroxa0F.Frangi,Wiroxa0J.Niessen,Koenxa0L.Vinckenxa0andxa0Maxxa0A.Viergever:“Multiscalexa0Vesselxa0Enhancementxa0Filtering”,LNCS,vol.1496,Springerxa0Verlag,Berlin,Germany,pp.130-137(以下称为非专利文献1)中,公开了如下的图像处理:根据通过使用海赛(Hessian)矩阵的运算而得到的固有值对线状构造进行建模,使用该固有值计算规定评价值,根据该规定评价值的大小对图像内包含的线状构造进行强调。但是,在通过内窥镜或胶囊型内窥镜对体腔内进行摄像而得到的图像中,由于作为摄像对象的活体组织的特性和对作为摄像对象的活体组织进行照明时的照明强度等的要因复合地组合,不仅在不同的图像间,在同一图像内,也存在对比度的变动(偏差)较大的倾向。另一方面,根据非专利文献1所公开的图像处理,由于所述规定评价值依赖于对比度的大小而增减,所以例如产生如下课题:针对通过X射线造影而得到的图像等的、难以产生对比度的变动的图像,能有效发挥作用,相反,针对通过内窥镜或胶囊型内窥镜对体腔内进行摄像而得到的图像等的、容易产生对比度的变动的图像,很难得到效果。本发明是鉴于上述情况而完成的,其目的在于,提供如下的图像处理装置和图像处理方法:即使在对活体组织进行摄像而得到的图像的对比度大幅变动的情况下,也能够稳定地检测规定形状的构造。
发明内容
用于解决课题的手段本发明的图像处理装置具有:第1特征量计算部,其按照对活体组织进行摄像而得到的图像的各像素,计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第1特征量;第2特征量计算部,其按照所述图像的各像素,计算表示所述局部区域中的梯度方向的分布状态的第2特征量;评价值计算部,其根据所述第1特征量和所述第2特征量的计算结果,按照所述图像的各像素计算能够判别所述图像中包含的规定形状的构造的形状评价值;以及区域提取部,其根据所述形状评价值的计算结果,从所述图像中提取被估计为存在所述规定形状的构造的候选区域。本发明的图像处理方法具有以下步骤:第1特征量计算步骤,按照对活体组织进行摄像而得到的图像的各像素,计算表示包含关注像素和该关注像素附近的各像素的局部区域呈何种形状的指标的第1特征量;第2特征量计算步骤,按照所述图像的各像素,计算表示所述局部区域中的梯度方向的分布状态的第2特征量;评价值计算步骤,根据所述第1特征量和所述第2特征量的计算结果,按照所述图像的各像素计算能够判别所述图像中包含的规定形状的构造的形状评价值;以及区域提取步骤,根据所述形状评价值的计算结果,从所述图像中提取被估计为存在所述规定形状的构造的候选区域。
附图说明
图1是示出具有本发明的实施例的图像处理装置的内窥镜装置的主要部分的结构的一例的图。图2是示出图1的光源装置所具有的旋转滤镜的结构的一例的图。图3是示出图2的第1滤镜组所具有的各滤镜的透射特性的一例的图。图4是示出图2的第2滤镜组所具有的各滤镜的透射特性的一例的图。图5是示出在本发明的实施例中进行的处理的一例的流程图。图6是示出作为处理对象的图像数据的一例的示意图。图7是用于说明在梯度矢量集中度的计算时使用的要素的图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。图1~图7涉及本发明的实施例。如图1所示,内窥镜装置1构成为具有:内窥镜2,其被插入被检者的体腔内,以信号方式输出对该体腔内的活体组织101等被摄体进行摄像而得到的图像;光源装置3,其发出用于对活体组织101进行照明的照明光;处理器4,其对来自内窥镜2的输出信号实施各种处理;显示装置5,其显示与来自处理器4的视频信号对应的图像;以及外部存储装置6,其存储与处理器4中的处理结果对应的输出信号。内窥镜2构成为具有:具有能够插入被检者的体腔内的形状和尺寸的插入部21a、设置在插入部21a的前端侧的前端部21b、以及设置在插入部21a的基端侧的操作部21c。并且,在插入部21a的内部贯穿插入有用于向前端部21b传送在光源装置3中发出的照明光的光导7。光导7的一个端面(光入射端面)装卸自如地与光源装置3连接。并且,光导7的另一个端面(光出射端面)配置在设于内窥镜2的前端部21b中的未图示的照明光学系统的附近。根据这种结构,在光源装置3中发出的照明光经过与光源装置3连接的状态的光导7和设置在前端部21b的未图示的照明光学系统后,向活体组织101射出。在内窥镜2的前端部21b中设有形成被摄体的光学像的物镜光学系统22、以及对由物镜光学系统22形成的光学像进行摄像而取得图像的CCD23。并且,在内窥镜2的操作部21c中设有观察模式切换开关24,该观察模式切换开关24能够进行用于将观察模式切换为通常光观察模式或窄带光观察模式中的任意一方的指示。光源装置3具有:由氙灯等构成的白色光源31、使从白色光源31发出的白色光成为面顺次的照明光的旋转滤镜32、使旋转滤镜32旋转驱动的电动机33、使旋转滤镜32和电动机33在与白色光源31的出射光路垂直的方向上移动的电动机34、根据处理器4的控制而驱动电动机33和34的旋转滤镜驱动部35、以及使通过旋转滤镜32后的照明光会聚并将其供给到光导7的入射端面的会聚光学系统36。如图2所示,旋转滤镜32构成为将中心作为旋转轴的圆板状,具有第1滤镜组32A和第2滤镜组32B,该第1滤镜组32A具备沿着内周侧的周方向设置的多个滤镜,该第2滤镜组32B具备沿着外周侧的周方向设置的多个滤镜。而且,通过使电动机33的驱动力传递到所述旋转轴,旋转滤镜32旋转。另外,在旋转滤镜32中,除了配置有第1滤镜组32A和第2滤镜组32B的各滤镜的部分以外的部分由遮光部件构成。第1滤镜组32A构成为具有分别沿着旋转滤镜32的内周侧的周方向设置的使红色波段的光透射的R滤镜32r、使绿色波段的光透射的G滤镜32g、以及使蓝色波段的光透射的B滤镜32b。例如如图3所示,R滤镜32r具有主要使600nm~700nm的光(R光)透射的结构。并且,例如如图3所示,G滤镜32g具有主要使500nm~600nm的光(G光)透射的结构。进而,例如如图3所示,B滤镜32b具有主要使400nm~500nm的光(B光)透射的结构。即,在白色光源31中发出的白色光经过第1滤镜组32A,由此生成通常光观察模式用的宽带光。第2滤镜组32B构成为具有分别沿着旋转滤镜32的外周侧的周方向设置的使蓝色的窄带光透射的Bn滤镜321b、以及使绿色的窄带光透射的Gn滤镜321g。例如如图4所示,Bn滤镜321b构成为,中心波长设定在415nm附近,并且使比B光窄的频带的光(Bn光)透射。并且,例如如图4所示,Gn滤镜321g构成为,中心波长设定在540nm附近,并且使比G光窄的频带的光(Gn光)透射。即,在白色光源31中发出的白色光经过第2滤镜组32B而离散化,由此生成窄带光观察模式用的多个频带的窄带光。处理器4构成为具有作为图像处理装置的功能。具体而言,处理器4构成为具有图像处理部41和控制部42。并且,图像处理部41构成为具有图像数据生成部41a、运算部41b、视频信号生成部41c。图像处理部41的图像数据生成部41a根据控制部42的控制,对来自内窥镜2的输出信号实施噪声去除和A/D转换等处理,由此,生成与在CCD23中得到的图像对应的图像数据。图像处理部41的运算部41b使用由图像数据生成部41a生成的图像数据进行规定处理,由此,从所述图像数据中提取被估计为存在规定形状的粘膜微细构造(组织学的构造)的候选区域。另外,所述规定处理的详细情况在后面详细叙述。图像处理部41的视频信号生成部41c通过对由图像数据生成部41a生成的图像数据实施伽马转换和D/A转换等处理,生成视频信号并输出。控制部42根据观察模式切换开关24的指示,在检测到进行了切换为通常光观察模式的指示的情况下,对旋转滤镜驱动部35进行用于从光源装置3射出通常光观察模式用的宽带光的控制。然后,旋转滤镜驱动部35根据控制部42的控制,使电动机34进行动作,以使得在白色光源31的出射光路上插入第1滤镜组32A,并且,使第2滤镜组32B从白色光源31的出射光路上退避。并且,控制部42根据观察模式切换开关24的指示,在检测到进行了切换为窄带光观察模式的指示的情况下,对旋转滤镜驱动部35进行用于从光源装置3射出窄带光观察模式用的多个频带的窄带光的控制。然后,旋转滤镜驱动部35根据控制部42的控制,使电动机34进行动作,以使得在白色光源31的出射光路上插入第2滤镜组32B,并且,使第1滤镜组32A从白色光源31的出射光路上退避。即,根据如上所述的内窥镜装置1的结构,在选择了通常光观察模式的情况下,能够在显示装置5中显示具有与利用肉眼观察对象物的情况大致相同的色度的图像(通常光图像),进而存储在外部存储装置62中。并且,根据如上所述的内窥镜装置1的结构,在选择了窄带光观察模式的情况下,能够在显示装置5中显示对活体组织101中包含的血管进行了强调的图像(窄带光图像),进而存储在外部存储装置62中。这里,对内窥镜装置1的作用进行说明。首先,手术医生接通内窥镜装置1的各部的电源后,在观察模式切换开关24中选择通常光观察模式。然后,手术医生一边观察在选择通常光观察模式时显示在显示装置5中的图像、即具有与利用肉眼观察对象物的情况大致相同的色度的图像,一边将内窥镜2插入体腔内,由此,使前端部21b接近观察对象的活体组织101所存在的部位。当在观察模式切换开关24中选择了通常光观察模式时,R光、G光和B光的各种颜色的光依次从光源装置3向活体组织101射出,在内窥镜2中分别取得与该各种颜色的光对应的图像。当图像处理部41的图像数据生成部41a被输入与R光对应的图像、与G光对应的图像和与B光对应的图像时,分别生成与各图像对应的颜色分量的图像数据(图5的步骤S1)。另外,以下为了简化说明,将例如图6所示的与线状的粘膜微细构造(组织学的构造)相当的区域表示为圆点图案,将与块状的粘膜微细构造(组织学的构造)相当的区域表示为斜线图案,将与背景粘膜相当的区域表示为空白,并且,将这3个区域的边界线表示为细实线,针对这样的示意性的图像数据进行处理,由此进行说明。运算部41b通过对由图像数据生成部41a生成的图像数据进行使用海赛矩阵的运算,按照各像素计算与该海赛矩阵对应的固有值(图5的步骤S2)。具体而言,针对由图像数据生成部41a生成的图像数据,使用下述算式(1)所示的海赛矩阵H,进行Alejandroxa0F.Frangi等的论文“Multiscalexa0Vesselxa0Enhancementxa0Filtering”(LNCS,vol.1496,Springerxa0Verlag,Berlin,Germany,pp.130-137)所公开的运算,由此计算固有值λ1和λ2(其中,设|λ1|≧|λ2|)。另外,下述算式(1)的右边所包含的标号L表示图像内的局部位置的图像强度,即,相当于Alejandroxa0F.Frangi等的上述论文中的L(x₀+δx_0,S)。 H = h 11 h 12 h 21 h 22 = ∂ 2 L ∂ x 2 ∂ 2 L ∂ x ∂ y ∂ 2 L ∂ x ∂ y ∂ 2 L ∂ y 2 . . . ( 1 ) ]]> 然后,具有第1特征量计算部的功能的运算部41b根据通过图5的步骤S2的处理而计算出的固有值λ1和λ2,按照各像素计算表示包含关注像素和该关注像素附近的各像素的局部区域大致呈何种形状的指标的形状特征量(图5的步骤S3)。具体而言,运算部41b通过进行使用下述算式(2)的运算,计算关注像素s中的形状特征量shape(s)。 shape ( s ) = 0 ifλ 1 ≥ 0 exp ( - R β 2 2 β 2 ) otherwise . . . ( 2 ) ]]> 在上述算式(2)中,R_β表示由λ2/λ1得到的值,β表示通过经验而设定的参数(例如设为β=0.5的常数)。另一方面,运算部41b使用应用索贝尔(Sobel)滤波器等1阶微分滤波器而得到的输出值,对由图像数据生成部41a生成的图像数据进行运算,由此,按照各像素计算梯度方向和梯度强度(图5的步骤S4)。然后,具有第2特征量计算部的功能的运算部41b根据由通过图5的步骤S4的处理而计算出的梯度方向和梯度强度所决定的梯度矢量,按照各像素计算表示局部区域中的梯度方向的分布状态的梯度矢量集中度(图5的步骤S5)。具体而言,例如如图7所示,设定以关注像素s为中心的半径为r的圆即区域R作为搜索区域,进而,在设根据该区域R内的像素j的梯度方向和梯度强度所决定的梯度矢量相对于图像的x轴方向(从纸面左侧朝向纸面右侧的轴方向)所成的角度为θ_j的情况下,运算部41b通过进行使用下述算式(3)的运算,计算关注像素s中的梯度矢量集中度GC(s)。 GC ( s ) = 1 M · Σ R cos θ j . . . ( 3 ) ]]> 上述算式(3)中的M表示区域R内包含的各像素中的、梯度强度大于0的像素的数量。另外,在本实施例中,如图5所示,并行地进行计算形状特征量shape(s)的处理(步骤S2和S3的处理)和计算梯度矢量集中度GC(s)的处理(步骤S4和S5的处理),但是不限于此,也可以以先计算一个值后计算另一个值的方式进行处理。具有评价值计算部的功能的运算部41b通过使用经由图5的步骤S2和S3的处理而计算出的形状特征量shape(s)、和经由图5的步骤S4和S5的处理而计算出的梯度矢量集中度GC(s)进行运算,按照各像素计算能够判别线状和块状的粘膜微细构造的形状评价值(图5的步骤S6)。具体而言,运算部41b通过进行使用下述算式(4)的运算,计算关注像素s中的形状评价值v₀(s)。 v 0 ( s ) = 0 ifλ 1 ≥ 0 exp ( - R β 2 2 β 2 ) · exp ( - { GC ( s ) } 2 2 γ 2 ) otherwise . . . ( 4 ) ]]> 上述算式(4)中的γ表示通过经验而设定的参数(例如设为γ=0.5的常数)。然后,通过使用上述算式(4)的运算,在存在线状的粘膜微细构造(组织学的构造)的像素组、存在块状的粘膜微细构造(组织学的构造)的像素组、与背景粘膜相当的像素组之间,计算作为分别不同的范围的值的形状评价值v₀(s)。另外,在上述算式(4)中,根据是否是λ1≧0来变更形状评价值v₀(s)的运算式,由此,能够检测图像内的相对较亮的区域、即存在局部隆起的(线状和/或块状的)粘膜微细构造的区域。但是不限于此,例如,在上述算式(4)中,在根据是否是λ1≦0来变更形状评价值v₀(s)的运算式的情况下,还能够检测图像内的相对较暗的区域、即存在局部凹陷的粘膜微细构造的区域。但是,针对由图像数据生成部41a生成的图像数据,在单独使用经由图5的步骤S2和S3的处理而得到的形状特征量shape(s)来尝试粘膜微细构造的检测的情况下,能够大致检测包含关注像素s的局部区域呈线状或块状的哪种形状,而另一方面,例如会得到粘膜微细构造的山脊线和由于活体组织表面的阶梯差(例如血管边缘等)而产生的阶梯边缘混合存在的检测结果。并且,针对由图像数据生成部41a生成的图像数据,在单独使用经由图5的步骤S4和S5的处理而得到的梯度矢量集中度GC(s)来尝试粘膜微细构造的检测的情况下,能够不依赖于图像的对比度而检测包含关注像素s的局部区域是否呈隆起形状(或凹陷形状),而另一方面,无法得到能够判别该局部区域呈线状或块状的哪种形状的检测结果。与此相对,在本实施例中,如上述算式(4)所示,组合形状特征量shape(s)和梯度矢量集中度GC(s)这2个值来计算形状评价值v₀(s)。因此,根据本实施例,能够降低将所述阶梯边缘误检测为粘膜微细构造的山脊线的可能性,并且,能够不依赖于图像的对比度而检测出包含关注像素s的局部区域呈线状或块状的哪种形状。另一方面,具有区域提取部的功能的运算部41b使用按照各像素计算出的形状评价值v₀(s),从图像数据中单独提取被估计为存在线状的粘膜微细构造和块状的粘膜微细构造的候选区域(图5的步骤S7)。然后,通过进行如上所述的一连串的处理,在图6所示的图像内,在能够判别被估计为存在粘膜微细构造中的线状构造或块状构造即开口图案(Pitxa0pattern)的区域、和被估计为存在血管等中的线状构造的区域的状态下,分别提取这些区域。另外,根据本实施例,不限于对包含线状和块状的粘膜微细构造双方的图像进行处理,也可以对包含线状或块状的粘膜微细构造中的任意一方的图像进行处理。如上所述,根据本实施例,具有如下的结构和作用:使用作为不依赖于图像的对比度的值的形状评价值v₀(s),单独提取被估计为存在线状的粘膜微细构造的区域、和被估计为存在块状的粘膜微细构造的区域。因此,根据本实施例,即使在对活体组织进行摄像而得到的图像的对比度大幅变动(偏差)的情况下,也能够稳定地检测规定形状的构造。另外,本发明不限于上述各实施例,当然能够在不脱离发明主旨的范围内进行各种变更和应用。本申请以2010年6月30日在日本申请的日本特愿2010-149971号为优先权主张的基础进行申请,上述公开内容被引用到本申请说明书、权利要求书和附图中。